多流注意力残差
🧭 高效 LLM 预训练 · 深度残差架构
School of AI, Shanghai Jiao Tong University · Shanghai Innovation Institute · Dots Studio, Xiaohongshu Inc. · School of CS, Peking University
将单流深度注意力残差扩展为多流深度注意力，通过多尺度因果卷积生成多样化上下文视图，在 MoE 大模型上取得 1.58 倍预训练加速
📌 工作参考价值（4 点）
- 若业务需要自研或微调大模型作为排序/召回/Agent 底座，可评估用 MSAR 替换标准残差连接：保持单流存储、按需扩展多流深度检索，iso-loss 预训练加速 1.58×，对 MoE 架构尤其明显。
- 多尺度因果卷积生成不同上下文视图的思路可迁移到用户行为序列建模：使用不同 kernel size 的因果卷积提取短期点击、中期会话、长期兴趣等多时间尺度表示，再通过自适应混合融合，增强序列建模能力。
- 轻量自适应混合多个检索流的机制，可作为推荐模型中多兴趣/多视图融合的替代方案：避免显式维护多流表示和通信开销，降低工程实现复杂度。
- 需注意该工作验证于 18B/28B 大规模 MoE 语言模型预训练，直接搬到电商推荐的小模型或非 Transformer 结构收益未知；引入多流机制可能增加调试复杂度，建议先在离线评测中验证深度特征稀释问题是否真实存在。
MoME：上下文感知稀疏查找的混合记忆嵌入
🧭 上下文感知稀疏记忆嵌入
University of British Columbia · Vector Institute for AI · Canada CIFAR AI Chair · NSERC CRC Chair
MoME 用上下文门控选择 M 个记忆槽的混合，取代单一行记忆，在 iso 参数/FLOP 下优于现有稀疏记忆基线，并改善 scaling 趋势。
📌 工作参考价值（4 点）
- 在 LLM4Rec / Query 推荐等场景，可将类目、品牌、高频 query 模板等静态知识注入 token 级条件记忆：用 MoME 式混合门控取代固定 embedding lookup，按上下文选择多个 slot，能区分“苹果”手机与水果等多义 token，提升下游意图理解。
- 在线 serving 需要低延迟稀疏查找时，条件记忆比 MoE 更便宜；MoME 的推理开销接近简单 embedding lookup，适合在推荐/搜索模型里增加轻量领域记忆，而无需承担 expert 路由与全激活成本。
- 对于搜索 query 生成/改写，可借鉴其多槽分离机制，将同一 surface token 的多种语义分开存储，由 learned gate 自动识别意图；定性结果显示路由具有可解释性，有助于后续分析或人工干预。
- 工程实现上注意 slot 数 M 与训练 FLOP 的平衡：MoME 在 sub-billion 规模下 memory-size scaling 趋势更优，说明在中小规模模型上增加记忆容量比扩大 dense 参数更具性价比。
DeltaMomentum：基于键值的各向异性动量更新
🧭 优化器动量更新 · Delta Rule
Electrical and Computer Engineering, Carnegie Mellon University
把线性层梯度拆成 key-value，用 delta rule 做方向感知动量更新来加速训练收敛
📌 工作参考价值（4 点）
- 推荐系统特征通常极度稀疏/长尾，例如 user/item id、类目等输入方向的频率高度不均。DeltaMomentum 可直接替换现有优化器的动量 buffer，对高频方向自动降低遗忘、低频方向加快遗忘，特别适合 embedding 层和 wide 部分；无额外持久内存，可在排序/召回模型训练中验证步数节省。
- 若业务在用 LLM 做生成式推荐或领域模型预训练，可在 AdamW 上启用 DeltaMomentum，论文在 67M/370M 语言模型上分别减少 46%/22% 达到同验证损失的步数，对固定算力预算下扩大模型或数据量有直接价值。
- 工程实现注意：额外计算约为 gated-MLP 线性层成本的 22-25%，无 persistent memory；但方法基于线性层 key-value 结构，对 attention 等非简单线性部分需适配，建议先在 MLP/embedding 层替换。
- 调参经验：系数在 μP 下可跨宽度迁移，若业务使用 μP 训练超大规模模型，能用小模型调的系数直接放大，降低调参成本。
LLM 预训练中领域数据重复的规模化规律
🧭 LLM 预训练数据重复策略
Tsinghua University · ByteDance Seed
固定 TPP 下最优领域重复次数随模型规模略增且与领域验证损失强负相关，可用小模型外推
📌 工作参考价值（4 点）
- 高质量领域数据有限时，不必盲目避免重复：对模型拟合好、验证损失低的领域，可以安全增加重复次数；可先在小模型上观察不同重复率对验证损失的影响，找到临界点。
- 在数据配比流程中，不要只依据唯一数据量判断领域重要性；用小代理模型（相同 TPP）快速扫描各领域最优重复次数，再将结果外推到大模型，可大幅降低大模型实验成本。
- 推荐/搜索场景中，若某些高价值目标域（如特定类目、核心 query 意图）数据稀缺，可借鉴该重复策略，但需持续监控验证损失，防止从“低损失高可重复”偏移为过拟合。
- 工程上可建立“数据重复率—验证损失”曲线作为数据配比决策的轻量工具，纳入预训练/持续预训练的数据准备 pipeline。
训练混合：将小规模脚手架预训练运行重组为更大语言模型
🧭 模块化 LLM 预训练 · 脚手架重组 ★ 深度解读
Google, Mountain View, CA, USA · School of Computing, Dublin City University, Dublin, Ireland
提出 MoT：在冻结对齐器脚手架中独立训练 Transformer 深度块并重组，验证模块化预训练可行性
📌 工作参考价值（4 点）
- 模块化底座与多域迁移：若做电商/广告/搜索的多域 LLM 底座，可把不同领域的深度 block 独立训练再重组，避免每次全量重训；复用 off-the-shelf aligner 作为稳定表示接口，重组后加少量 end-to-end adaptation 回补接口错配。但要把 aligner 成本按复用次数摊销，R≥3 才有净收益。
- 数据流设计 trick：aligner 存在时，给各子模型上 disjoint data streams 能改善冷组合 PPL（19.3 vs 20.3），没有 aligner 反而恶化；说明在表示接口稳定后，更广 token 覆盖对模块化重组有帮助，可直接用于多 worker 独立训练的数据划分策略。
- 工程核算与调度：把训练成本拆成 train EF / full-charge EF / amortized EF，并估算 layer-equivalent critical path，有助于在做出“模块化训练更省”的结论前避免被 aligner 一次性成本误导；Stage 1 各 scaffold 可并行、故障可局部恢复，适合小规模科研迭代或需要隔离故障的长训练任务。
- 风险与局限：当前仅验证 PPL，未测 downstream reasoning/校准/鲁棒性；在竞价广告/推荐排序这类对业务指标敏感的场景，不能假设模块化预训练模型可直接替换 monolithic，需要补做 SFT/RLHF 或在线 A/B 评估。
MALT：通过对角线预处理实现轻量级曲率感知的Muon优化器
🧭 Muon优化器的曲率感知对角线预处理 ★ 深度解读
The Pennsylvania State University · City University of Hong Kong
在Muon正交化前加入行/列对角预处理，以极小开销缓解曲率各向异性，配合噪声自适应步长显著提升LLM预训练性能
📌 工作参考价值（4 点）
- 在推荐模型的矩阵参数（如Embedding、MLP权重）上可直接替换Muon为MALT，在不增加显存和时间的前提下获得更优收敛，尤其适合需要降低训练成本的工业场景。
- 噪声自适应步长MALTER可稳定分布式推荐训练中常见的梯度噪声，避免手动调参，提升训练鲁棒性。
- 对角线预处理与正交化结合的思想可迁移到其他矩阵感知优化器（如Shampoo变体），为结构化参数提供轻量曲率适应。
- 对于曲率各向异性明显的Transformer层（如FFN或Attention投影），建议优先使用MALT，在保持Muon原有优势的同时进一步加速收敛。
扩展超连接：突破流数瓶颈实现高效大模型预训练
🧭 LLM架构优化 · 残差流扩展
School of AI, Shanghai Jiao Tong University · Dots Studio, Xiaohongshu Inc. · University of Science and Technology of China · School of CS, Peking University · The Chinese University of Hong Kong
通过时间特征增强和稀疏残差流（仅更新k=4/N=16）突破HC的N=4瓶颈，在MoE模型上大幅提升性能并降低计算开销
📌 工作参考价值（4 点）
- 稀疏更新策略：xHC 每层只更新 k=4 条流但读取全部流，类似推荐系统中大规模 Embedding 表或状态存储可采用“稠密读取-稀疏更新”模式，仅刷新部分高频/重要行，降低训练更新开销。
- 多流残差结构：多条并行残差流可视为不同变换路径的集成，该思想可迁移到推荐模型的多模态、多任务学习，用不同流编码用户、商品、上下文等异构特征，再通过可学习的混合机制融合。
- 内存带宽优化：xHC-Flash 通过融合流维度与批次维度的矩阵乘法减少中间状态传输，对推荐模型部署中的显存带宽瓶颈有借鉴意义，尤其适用于大规模特征交叉或 Embedding 交互层的显存优化。
- 高效扩展范式：在有限训练预算下通过架构改进提升大模型性能，对电商搜索/推荐场景中自行预训练 LLM 的团队，提供了一条除增加模型尺寸外的算力友好扩展路径。
重新思考LLM FP4预训练中的收缩偏置：几何根源与UFP4方案
🧭 低精度训练 · FP4均匀网格 ★ 深度解读
Ant Group
指出非均匀E2M1格式固有的收缩偏置被RHT放大导致训练不稳定，提出基于均匀E1M2网格与全RHT相结合的UFP4训练配方
📌 工作参考价值（4 点）
- 当对推荐模型做低比特量化或采用类似RHT的旋转预处理时，优先选用均匀网格（INT4/E1M2），因为非均匀格式（E2M1）的舍入偏置会在深层网络积累，而均匀网格不存在该问题。
- 若使用FP4训练LLM-based推荐模型，可借鉴UFP4的配方：将RHT扩展到前向、数据梯度、权重梯度三个GEMM，仅对dY使用随机舍入；该设计在1.5B~124B的实验中稳定降低了与BF16的loss差距。
- 收缩偏置是一个容易被忽视的几何缺陷：当量化区块不对称时，即使是零均值的分布也会产生系统性负误差，造成信号衰减；在自研或选用量化方案时，应检查舍入bin的对称性，而非只关注动态范围。
- 在只有E2M1硬件的场景下，试图通过限制最大可表示值来模拟均匀网格效果不佳，未来若能为推荐训练引入FP4加速，应争取支持均匀4-bit格式作为第一等训练原语。
Parallax：参数化局部线性注意力用于语言建模
🧭 参数化局部线性注意力 · 架构优化器协同
Northwestern University · Tilde Research · University of Washington
提出可扩展的参数化局部线性注意力 Parallax，通过硬件感知优化和架构-优化器协同，在 LLM 预训练上实现帕累托改进
📌 工作参考价值（4 点）
- 若自研 LLM 或注意力模块用于召回/排序，可尝试 Parallax 的参数化局部线性注意力替代 softmax，预训练困惑度和下游迁移均有提升，且数值稳定。
- 硬件感知优化：Parallax 的解码核设计提高了算术强度，在批次和上下文变化时稳定匹配 FlashAttention 2/3，可参考其融合策略降低推理延迟。
- 架构与优化器协同：发现 Muon 优化器对 Parallax 至关重要，提示探索新架构时需配对特定优化器，否则可能无法释放潜力。
- 局部线性估计在记忆检索任务上偏差-方差更优，对于需要强联想记忆的场景（如长序列用户行为建模）提供理论基础。